เจฟฟรีย์ แพลนแทเจเนตเป็นพระราชโอรสลำดับที่สี่ในห้าของพระเจ้าเฮนรีที่ 2 แห่งอังกฤษกับพระราชินีอาลีเยนอร์แห่งอากีแตน ทรงประสูติที่ปราสามโบมอนต์ในเดือนกันยายน ค.ศ. 1158 ซึ่งขณะนั้นพระราชบิดามารดาของพระองค์มีพระราชบุตรอยู่แล้วสามคน ได้แก่ พระราชโอรสสองคน คือ เฮนรีและริชาร์ด กับพระราชธิดาหนึ่งคน คือ มาทิลดา เจฟฟรีย์ถูกตั้งชื่อตามพระอัยกาฝั่งบิดา คือ จูฟเฟรย์ แพลนแทเจเนต เคานต์แห่งอ็องฌูที่สมญานาม "แพลนแทเจเนต" ของเขาถูกนำมาใช้เป็นชื่อราชวงศ์ เจฟฟรีย์มีพี่น้องทั้งหมดเจ็ดคน ได้แก่ วิลเลียมที่ 9 เคานต์แห่งปัวติเยร์, เฮนรียุวษัตริย์, มาทิลดา ดัชเชสแห่งซัคเซินและไบเอิร์น, พระเจ้าริชาร์ดที่ 1, เอเลนอร์ สมเด็จพระราชินีแห่งกัสติยา, โจน สมเด็จพระราชินีแห่งซิซิลี และพระเจ้าจอห์น

เนื่องจากเจฟฟรีย์เป็นพระราชโอรสเพียงคนเดียวของพระเจ้าเฮนรีกับพระนางอาลีเยนอร์ที่ไม่ได้รับการสวมมงกุฎ (วิลเลียม พระเชษฐาคนโตสิ้นพระชนม์ตั้งแต่ยังเด็ก, เฮนรียุวกษัตริย์ได้รับการสวมมงกุฎคู่กับพระราชบิดา, ริชาร์ดกับจอห์นได้ขึ้นครองราชย์เป็นกษัตริย์แห่งอังกฤษ) พระองค์จึงเป็นที่ละเลยของนักประวัติศาสตร์ ส่งผลให้ประวัติในวัยเด็กของพระองค์มีไม่มากและไม่มีภาพเขียนของพระองค์หลงเหลืออยู่ พงศาวดารยุคนั้นกล่าวว่าเจฟฟรีย์มีผมสีเข้มและรูปร่างเตี้ย พระองค์หน้าตาปานกลางและไม่ได้ดูดีมีเสน่ห์